跳到主要内容

让 Codex 操作你的电脑

通过 Computer Use 让 Codex 点击、输入和浏览 Mac 应用界面，完成没有 API 的界面型任务。

场景定位​

这个案例属于“日常协作与办公自动化”。它适合把一个经常需要人工整理、判断或验证的流程交给 Codex 做第一轮处理，然后由你审阅关键结果。

项目内容
适合任务通过 Computer Use 让 Codex 点击、输入和浏览 Mac 应用界面，完成没有 API 的界面型任务。
常用能力Computer Use、本机应用、浏览器、可视化检查
产出形态清单、草稿、补丁、报告、截图、表格或可运行原型，取决于具体任务

适合谁​

  • 需要操作桌面应用或网页后台
  • 流程有很多重复点击和填写
  • 软件没有稳定 API，但界面可操作

Codex 可以帮你做什么​

  • 读取当前应用窗口和可点击元素
  • 按你的指令点击、输入、切换页面
  • 观察操作后的界面变化
  • 把执行过程和阻塞点反馈给你

推荐工作流​

  1. 先让 Codex 描述它看到的界面
  2. 把可执行动作和必须确认动作分开
  3. 让它一步一步完成，不要一次授权整段高风险流程
  4. 遇到登录、付款、发布、删除时停下
  5. 结束后让它整理操作记录

示例提示词​

请用 Computer Use 打开目标应用并完成这个流程。每一步先说明你看到的界面和准备点击的位置；遇到登录、付款、删除、提交或发布动作时先停下来问我。

案例重点展开​

  • 先安装并启用 Computer Use 插件，让 Codex 能观察和操作本机应用界面。
  • 把任务写成一个明确的电脑操作，例如打开某个应用、检查状态、填写表单或完成一次导出。
  • 让 Codex 每一步说明它看到的界面、准备点击的位置和预期结果。
  • 同一个应用里避免并行运行多个自动操作，防止窗口焦点和登录态互相干扰。
  • 最好保持相关应用已经登录，遇到敏感操作时让 Codex 停下来等待确认。

完整用法拆解​

1. 先把任务范围说清楚​

这个案例的重点不是让 Codex 猜你的真实需求，而是把“通过 Computer Use 让 Codex 点击、输入和浏览 Mac 应用界面，完成没有 API 的界面型任务。”拆成一组可以检查的步骤。开始时先说明输入来源、时间范围、目标对象和最终产物。如果任务涉及多个工具，也要告诉 Codex 哪些工具可以读、哪些动作只能准备草稿。

可以把范围写成三句话：我要处理什么资料、希望得到什么结果、哪些事情不能自动执行。对于“日常协作与办公自动化”这类任务，范围越清楚，Codex 越容易把注意力放在真正有价值的判断上。

2. 让 Codex 先输出中间结果​

不要一上来要求最终答案。更稳妥的方式是先让 Codex 完成“读取当前应用窗口和可点击元素”，再让它解释判断依据。这样你可以在中间阶段纠偏，避免它把不重要的信息写进最终产物。

如果任务比较长，可以要求 Codex 先给你一个小型样例，例如前 5 条记录、前 3 个页面、一个模块或一封邮件。样例通过后，再扩大到完整范围。

3. 把工具和证据写进交付物​

这个场景常用能力包括：Computer Use、本机应用、浏览器、可视化检查。让 Codex 使用这些能力时，最好要求它把依据也写出来：读了哪些文件、参考了哪些消息、运行了哪些命令、看到哪些截图或日志。

证据不是为了增加篇幅，而是为了让你能判断结果是否可靠。特别是 需要操作桌面应用或网页后台，更应该看到来源、假设和未确认问题。

4. 逐轮校准，而不是一次到位​

第一次结果通常是校准样本。你可以告诉 Codex 哪些判断正确、哪些内容太泛、哪些边界必须更严格。经过几轮之后，再考虑把流程保存为技能、自动化或长期 goal。

一个可用的校准顺序是：先让 Codex 描述它看到的界面；把可执行动作和必须确认动作分开；最后 结束后让它整理操作记录。这样既能提高产出质量，也能减少误操作。

更多提示词案例​

入门版​

请用 Computer Use 打开目标应用并完成这个流程。每一步先说明你看到的界面和准备点击的位置；遇到登录、付款、删除、提交或发布动作时先停下来问我。

请先只处理一个小范围样例，并说明你的判断依据、输出结构和需要我确认的问题。

进阶版​

请把“让 Codex 操作你的电脑”作为一个完整工作流来执行。
目标：通过 Computer Use 让 Codex 点击、输入和浏览 Mac 应用界面，完成没有 API 的界面型任务。
可用能力：Computer Use、本机应用、浏览器、可视化检查
请按以下步骤进行：
1. 先确认输入来源和任务范围。
2. 输出执行计划和风险边界。
3. 生成第一版结果。
4. 标注每个关键结论的依据。
5. 列出需要我确认的问题。
不要执行发送、删除、付款、发布、承诺等不可逆动作。

复盘版​

请复盘刚才这次“让 Codex 操作你的电脑”任务。
请输出：
1. 哪些输入最有用；
2. 哪些判断仍然不确定；
3. 哪些步骤可以下次自动化；
4. 哪些动作必须继续人工确认；
5. 下一次我应该怎样给你更好的上下文。

自动化前校准版​

我想把这个流程以后重复使用，但现在先不要自动化。
请根据本次任务整理一个可复用流程：触发条件、输入来源、处理步骤、输出格式、验证方式、停止条件和人工确认点。
尤其注意：不要让它直接处理支付、删除、外发和发布。

交付物检查清单​

完成这类任务后，建议检查以下内容：

  • 是否清楚说明了输入来源、处理范围和时间范围。
  • 是否把“读取当前应用窗口和可点击元素”和“按你的指令点击、输入、切换页面”的依据写出来。
  • 是否列出了不确定信息、缺失材料和需要你确认的问题。
  • 是否避免了越权动作，尤其是发送、删除、付款、发布、承诺和修改生产数据。
  • 是否留下了下一步可以继续执行的清单、文件、补丁、报告或验证结果。

使用边界​

  • 不要让它直接处理支付、删除、外发和发布
  • 界面变化可能导致误点，关键步骤要人工确认
  • 适合可观察流程，不适合需要隐私判断的内容